Pergeseran Paradigma: Dari Model Spesifik Tugas ke LLM

Evolusi NLP: AI Terfragmentasi hingga Foundation Model

Definisi

• AI Terfragmentasi: Sebuah era yang ditandai oleh arsitektur neural diskrit dan terspesialisasi yang dirancang untuk tugas-tugas individual seperti pelabelan sekuens atau klasifikasi.
• Foundation Model: Arsitektur transformer monolitik terpadu yang memperlakukan semua masalah linguistik sebagai sekuens generatif text-to-text $x \rightarrow y$.

Konsep Inti

• Konsolidasi Arsitektur: Secara historis, NLP membutuhkan pipeline khusus (Bi-LSTM untuk NER, CNN untuk sentimen). LLM meruntuhkan silo-silo ini menjadi satu backbone tunggal di mana bobot yang sama digunakan untuk setiap tugas.
• Antarmuka Terpadu: LLM menggantikan "output head" terspesialisasi (misalnya, Softmax 3 kelas) dengan antarmuka bahasa alami. Input dan output selalu berupa string, memungkinkan model untuk menafsirkan maksud daripada format.
• Transfer Pengetahuan: Model tradisional bersifat "tabula rasa" untuk setiap tugas. LLM memprioritaskan Generalisasi Terlebih Dahulu, di mana tugas-tugas spesifik hanyalah aplikasi dari representasi bahasa internal yang sudah ada dan kokoh.

Konteks Historis

• Pra-2018: Isolasi tugas mengharuskan pelatihan model yang berbeda dengan fungsi kerugian $\mathcal{L}_{task}$ yang berbeda.
• Era Modern: Paradigma "Text-to-Text" memungkinkan satu model (misalnya, Llama-3) untuk beralih tugas melalui zero-shot atau few-shot prompting.